NVSHMEM 流式通信与计算通信重叠优化 · 课程目录

NVSHMEM 概述核心

PE、对称内存、对称堆 · 与 MPI/SHMEM 关系

环境搭建工具

CUDA 兼容 · nvcc 链接 · nvshmrun / PMI

基础通信必学

put/get · 阻塞/非阻塞 · barrier/sync

集合通信性能

Broadcast/Reduce/Gather/Scatter

流式通信 ⭐

CUDA Stream 绑定 · nvshmemx_put/get_stream

同步与排序流

Stream Ordering · quiet/fence_stream

计算通信重叠原理核心

GPU 并发 · DMA 引擎 · 异步操作

重叠挑战进阶

数据依赖 · 带宽竞争 · 内核启动开销

双缓冲技术实用

原理 · NVSHMEM 实现 · 优缺点

流水线技术优化

分块分段 · 深度选择

基于事件的同步 Event

CUDA Event · 计算通信同步

基于信号量的同步信号量

NVSHMEM 信号量 · 与 Event 对比

CUDA Graphs Graph

捕获通信 · 执行与重放

多 GPU 拓扑感知拓扑

NVLink/PCIe · 绑定 GPU 与 NIC

内存模型内存

对称内存分配/注册 · 一致性模型

性能分析工具 Nsight

Nsight Systems · Trace · 瓶颈识别

性能调优调优

块大小 · 流数量 · PE 布局

与 NCCL 对比对比

适用场景 · 性能分析

与 MPI+OpenACC 对比对比

编程模型 · 易用性

深度学习应用 DL

AllReduce · 模型并行 · 流水线并行

科学计算应用 HPC

halo 交换 · FFT 转置 · 粒子模拟

数据分析应用分析

Sorting 通信 · Join 数据移动

高级特性原子

原子操作 · 锁与互斥

CUDA Unified Memory UM

统一内存交互 · 性能注意事项

Multi-Process Service MPS

MPS 基础 · 配置与影响

GPU Direct RDMA RDMA

InfiniBand · NVSHMEM 利用

错误处理与调试调试

cuda-gdb · 常见错误

最佳实践 ⭐

代码组织 · 内存管理 · 通信模式

性能基准测试基准

微/宏基准 · 结果分析

未来展望前沿

发展路线 · CUDA 融合 · 新兴硬件